PhenoWatch高通量植物表型分析系统

基于Sensor to Plant理念设计的移动式高精度植物表型成像系统

         PhnoWatch高通量植物表型分析系统,深度集成了激光雷达、高光谱成像、红外热成像、多光谱成像与RGB成像单元,可智能化移动至不同测量区域,按预设值自动扫描作物,生成含多光谱信息的三维影像,进行群体植物的单株识别,单株植物的茎叶分离,精准获取植物株高、株幅、叶长、叶宽、叶倾角、叶面积、郁闭度、冠层透光率等表型参数,结合光谱特征进行植被指数的计算,及冠层温度与生物量的统计分析。

1. PhenoWatch硬件系统

 PhenoWatch高通量植物表型分析系统的硬件,主要分3D中央成像单元,温室或田间移动平台。

image.png

3D中央成像单元(Sensor Box

Ø  点云模块:激光雷达,具有双轴补偿器和高度传感器,及角测量功能,对每次扫描进行水平校准,现场自动设备补偿,进行精度更高、距离更远的扫描,获取植物空间点云,三维建模,最终实现植物群体参数和单株形态表型参数的提取。

Ø  红外热成像模块:用于机器视觉的外热像仪,配备了非制冷式氧化钒红外探测器,高精度红外热成像CCD,能够生成640x480像素的热图象,具有卓越的图像质量,可视化显示线性ROI温度值、温度剖面图。

Ø  高光谱成像模块:图像中每一象素都记录了其对应样品点的化学组成、质量、颜色等信息的光谱特征,用于对植物进行生物量的定性与定量分析。

Ø  多光谱成像模块:以五通道(BlueGreenRedNIRRedEdge)光谱影像为数据源,通过影像与点云的匹配融合从而为三维空间点云赋予光谱信息,最终实现三维的植被指数计算。

Ø  RGB成像模块:高分辨率的RGB相机,色彩影像与点云匹配融合,以保障在获取高精度三维影像的同时,还原植物真实的色彩。

 

移动平台

根据现场环境实况,移动平台的尺寸与结构可以灵活设计:

l   多场景适用,可以结合现有温室结构、植物培养架来设计,可以在温室使用,也可以在野外使用;

l   移动平台的尺寸订制化程度高,根据安装条件灵活设计,跨度可以大于10 m,高度可以大于5 m,导轨长度可以大于1000 m

l   自动化程度高,定义大车在导轨上的移动方向为X轴,Sensor Box在横梁上的移动轴向为Y轴,Sensor Box在竖直方向的调节轴向为Z轴,可以实现XYZ三轴的自动化控制,可以按空间坐标定位移动,可以按设定距离移动;

l   覆盖区域广,可以大跨度设计,也可以一台多跨设计,即一台龙门架,可以在多垄地块之间横跨扫描;

l   方式多样,可以门式结构设计,天车式结构设计,或推车式设计;

l   定位精度高,多重限位保护,安全性高。

image.png

PhenoWatch-GF野外龙门架式植物表型成像系统

image.png

PhenoWatch-GH温室天车式植物表型成像系统

image.png

PhenoWatch-MB温室龙门架式植物表型成像系统

image.png

PhenoWatch-MB野外移动版植物表型成像系统

image.png

PhenoWatch植物培养架版植物表型成像系统

2. PhenoWatch软件系统

PhenoWatch系统采集到的作物3D点云数据与图像信息能够通过PhenoWatch软件进行数据融合与三维建模,对群体作物进行数据提取,获得郁闭度、冠层透光率、植被指数等群体参数;基于深度学习算法——Faster-RCNN模型,识别单株作物根部位置,利用传统生长法完成群体分单株,然后进行植物的茎叶分割,软件内嵌的茎叶分割方法有两种:基于区域生长法茎叶分割,基于体素法茎叶分割。

基于生长法茎叶分割是基于区域生长法识别和分割单株植物的茎和不同叶片,基于体素法茎叶分割是基于深度学习识别和分割单株植物的茎和不同叶片,然后将不同叶片和主干生成独立点云文件,并对叶片和主干拟合表面与骨架线,进而计算株高、株幅、叶长、叶宽、叶倾角和叶面积等表型参数。

PhenoWatch的软件是一款专门针对于作物三维表型参数提取的软件系统,最新版本的PhenoWatch软件集成了神经网络技术和深度学习算法,极大提高了作物单株分割及茎叶分割处理的精度。该软件使用并行处理及GPU 加速,进一步提升了海量点云数据处理的速度。软件具备的作物的单株分割和茎叶分割算法,从不同尺度上满足了作物基因型-表型研究者对作物形态参数提取的需求。此外,我们还提供定制化的数据处理模块的开发服务。

PhenoWatch分析软件处理点云数据过程:

image.png

image.png

3. 测量参数

Ø  群体参数:

l   数字高程模型DEM:即地形表面形态的数字化表达。

l   数字地表模型DSM:指包含了地表建筑物、桥梁和植被等高度的地面高程模型。

l   冠层高度模型CHM:从数字表面模型中减去数字高程模型即可得到冠层高度模型。

                                      image.png

l   郁闭度Canopy Cover:农作物的垂直投影占大田面积的百分比。

l   冠层透光率Transmittance:即作物不同高度层片上可接收到的入射太阳光比例。

l   3D点云植被指数:

                  3D NDVI3D TVI3D RVI3D DVI等。

l   2D植被指数:

                  2D NDVI2D TVI2D RVI2D DVI等。

l   植被指数统计:多光谱植被指数的统计,如均值、最大值、最小值等

l   植物绿色程度:自定义阈值,反映植物绿色程度

l   热红外分析:图像各像素点温度,植物冠层温度(配热红外成像单元)

l   统计群体表型参数的报表,各植株的高度、冠幅、投影面积、冠高比和体积,及数据统计:

                                            image.png

 Ø  单株表型参数:

l   高度        l   冠幅        l   投影面积        l   冠高比

l   体积        l   叶片数量      l   总叶面积        l   叶长

l   叶宽        l   叶倾角       l   叶面积         l   主干宽

            l   导出单株表型参数报表:

                                                image.png


4. 强大的可扩展功能

  系统可根据不同研究需要,扩展选配成像模块,实现更多功能

可选模块1:植物多光谱相机

400-900nm的波段范围,5波段,涵盖红、绿、蓝、近红外、红边,可进行NDVI等多种植被指数的计算,满足作物多光谱研究的应用。

image.png

多光谱模块可获得叶绿素分布、NDVI、数字表面模型、RGB图像

image.png

 

可选模块2:红外热成像模块

       热红外成像模块内置非制冷式氧化钒(VoX)红外探测器,能够生成640 x 480像素的热图像,使热像更加准确;配有高速红外窗口选项;清晰显示50 mk的温度差;内置的25°镜头,带电动对焦和自动对焦。分析软件具有点测温、线测温、椭圆区域测温、矩形区域测温,以及其温度最值、平均值、Delta函数统计功能,同时记录辐射率、大气温度、外部光学温度、相对湿度等信息,以达到获取热成像图有用信息的目的。

image.png

可选模块3:高光谱成像模块

  配置高光谱成像模块,高光谱成像系统将可见光近红外(VNIRNIR)光谱与高分辨率成像相结合,采用推扫式(pushbroom)成像技术对运动的样品或在运动中对静止的样品进行逐线全波段光谱采集并同步生成图像,获取样品化学成分的量化数据以及空间分布等详细信息,图像中每一象素都记录了其对应样品点的化学组成、质量、颜色等信息的光谱特征,用于对样品进行定性、定量分析。

image.png

5. 主要技术参数:

image.png
image.png

6.  应用案例

image.png

玉米植株群体激光雷达测量结果

 

image.png

群体内单株玉米的识别

 

image.png

植株内单个叶片的识别与测量

 

image.png

作物冠层覆盖度测量分布成像

 

image.pngimage.png

作物植被指数二维成像及数据显示

 

image.png

作物植被指数三维假彩色视图

   中文/En